SELF-SUPERVISED · 谱分解 · EP.01

Hermite
多项式

高斯世界里的「频率分解」工具
—— 配套播客讲解，从直觉到 LeJEPA 的理论基石

配套音频 7:43 · 双主播对话 · 数学不可怕，可怕的是没人陪你拆积木

01 · 动机

我们需要一把拆函数的刀

• LeJEPA 的证明要回答：编码器的表示里，哪一部分对「正样本对」的相关性贡献最大？
• 正样本对 = 同一内容的两个视角，模型希望它们的表示尽量像。
• 要回答这个问题，得先能把任意函数拆成一块块——就像傅里叶把声音拆成不同频率的波。
• 在高斯（钟形）分布下，这套「积木」就是 Hermite 多项式。

02 · 类比

傅里叶之于周期，Hermite 之于高斯

维度	傅里叶级数	Hermite 展开
适用场景	周期函数	高斯分布下的函数
基函数	$\sin nx,\ \cos nx$	$He_0,He_1,He_2,\dots$
正交性	在区间上积分为 0	在高斯期望下为 0
完备性	任意周期函数可展开	任意 $L^2(\gamma)$ 函数可展开

03 · 定义

积木长什么样 & 递推搭出来

$He_0=1,\quad He_1=z$
$He_2=z^2-1$
$He_3=z^3-3z$
$He_4=z^4-6z^2+3$

$He_{n+1}(z)=z\,He_n(z)-n\,He_{n-1}(z)$

下一块 = z × 当前块 − 阶数 × 前一块

验证：$z\cdot z-1\cdot 1=z^2-1=He_2$ ✓

04 · 核心性质

正交性：不同阶数互不干扰

$\mathbb{E}\big[He_m(z)\,He_n(z)\big]=\begin{cases}n! & m=n\\[4pt]0 & m\neq n\end{cases}$

$z\sim\mathcal N(0,1)$，期望对钟形曲线取

最小例子验证

$\mathbb{E}[He_1\cdot He_2]=\mathbb{E}[z^3-z]$
高斯的奇数阶矩为 0 → $=0-0=0$ ✓

就像不同频率的正弦波互相正交

05 · 完备性

任意函数都能拆开重组

$h(z)=\sum_{d=0}^{\infty}c_d\,He_d(z)$

$c_d=\dfrac{\mathbb{E}[h(z)\,He_d(z)]}{d!}$

只要 $\mathbb{E}[h(z)^2]<\infty$（有限能量），就能写成这些积木的加权叠加。

就像把一个向量沿正交坐标轴分解——每个轴上投影多少，系数 $c_d$ 就有多大。

06 · 关键转折

OU 过程让相关性按阶数指数衰减

$\mathbb{E}[He_n(z')He_n(z)]=\rho^{\,n}\cdot n!$

$z'=\rho z+\sqrt{1-\rho^2}\,\eta,\quad 0<\rho<1$

1 阶

ρ¹

2 阶

ρ²

3 阶

ρ³

阶数越高 → 相关性掉得越快 → 高阶非线性几乎被冲淡。

07 · 结论

最优解：只保留线性成分

• 对齐损失要最大化正样本对的相关性。
• 线性成分贡献 $\rho$；非线性成分贡献 $\rho^d<\rho\ (d\ge 2)$，被打了折扣。
• 于是最优策略就是：留下线性，丢掉所有非线性。
• 模型被这个机制温柔地逼成一个本质线性的表示 —— 这就是线性可识别性，整套定理的直觉来源。

08 · 度量工具

谱权重：一张能量饼图

线性 $w_1$ —— 我们想要的成分

二阶 $w_2$ —— 被 OU 衰减更多

更高阶 —— 衰减最狠

$w_d\ge 0,\quad w_0=0,\quad \textstyle\sum w_d=1$

理想状态：整张饼都给线性那一块。

09 · 小结

四句话带走全场

01

Hermite 是高斯世界的频率分解工具，类比傅里叶。

02

正交性让任意合理函数都能干净地拆成这些积木叠加。

03

OU 过程使相关性按 ρᵈ 指数衰减，高阶削减更狠。

04

最大化相关性 → 只留线性 → 线性可识别性。

下一站

Mehler 公式
把直觉坐实

下一讲深入 $\rho^d$ 衰减的来源 —— 它来自 OU 过程的转移核在 Hermite 基下的展开。

谢谢收听 · 配套音频 hermite_polynomials-podcast.mp3 · 我们下次见